近年来，众多原告——包括书籍、报纸、计算机代码和照片的出版商——起诉人工智能公司使用受版权保护的材料来训练模型。所有这些诉讼中的一个关键问题是，人工智能模型如何轻易地从原告的受版权保护的内容中逐字摘录。
Meta推出KernelLLM，这个基于Llama 3.1微调的8B模型，竟能将PyTorch代码自动转换为高效Triton GPU内核。实测数据显示，它的单次推理性能超越GPT-4o和DeepSeek V3，多次生成时得分飙升。
2024年11月，艾伦人工智能研究所（Ai2）推出了Tülu 3 8B和70B，在性能上超越了同等参数的Llama 3.1 Instruct版本，并在长达82页的论文中公布其训练细节，训练数据、代码、测试基准一应俱全。
刚刚，大模型竞技场榜单上再添一款国产模型——来自阿里，Qwen2.5-Max，超越了DeepSeek-V3，以总分1332的成绩位列总榜第七。同时还一举超越Claude 3.5 Sonnet、Llama 3.1 405B等模型。
2024又是AI精彩纷呈的一年。LLM不再是AI舞台上唯一的主角。随着预训练技术遭遇瓶颈，GPT-5迟迟未能问世，从业者开始从不同角度寻找突破。以o1为标志，大模型正式迈入“Post-Training”时代；开源发展迅猛，Llama 3.1首次击败闭源模型；中国本土大模型DeepSeek V3，在GPT-4o发布仅7个月后，用 1/10算力实现了几乎同等水平。
因为 V3 版本开源模型的发布，DeepSeek 又火了一把，而且这一次，是外网刷屏。 训练成本估计只有 Llama 3.1 405B 模型的 11 分之一，后者的效果还不如它。
Llamacoder是Claude Artifacts的开源实现。 最大的亮点就是，左侧AI写代码，右侧实时渲染。 之前给大家推荐过一个基于Claude做的，Llamacoder是用了Meta 的 Llama 3.1 405B 作为底层语言模型。
开源模型阵营又迎来一员猛将：Tülu 3。它来自艾伦人工智能研究所（Ai2），目前包含 8B 和 70B 两个版本（未来还会有 405B 版本），并且其性能超过了 Llama 3.1 Instruct 的相应版本！长达 73 的技术报告详细介绍了后训练的细节。
研究人员通过案例研究，利用大型语言模型（LLMs）如GPT-4、Claude 3和Llama 3.1，探索了思维链（CoT）提示在解码移位密码任务中的表现；CoT提示虽然提升了模型的推理能力，但这种能力并非纯粹的符号推理，而是结合了记忆和概率推理的复杂过程。
大型语言模型 （LLM） 在各种自然语言处理和推理任务中表现出卓越的能力，某些应用场景甚至超越了人类的表现。然而，这类模型在最基础的算术问题的表现上却不尽如人意。
